（来源：上观新闻）
越来越多的人👩🦱意识到——机器🇩🇯人学习🔎🈸行动的方😛式，本身就值得重🛬来一遍🚟。Lexis🐅🧖♂️Nexis则做出📑🔡了更奇⏳⛈特的选😾♐择：它将Anth😱🥎ropic的法🏄♀️👊律插件包装进自己⏬💙的Protégé🇩🇯产品中，而非与🅰🎚之对抗🍢。硬盘市👩⚖️场也在快速发展🚭。这不是💅🐆一个简单的🍬🇨🇴培训项目🇵🇱🤨。
例如：🧞♀️ “的” →🚎🎎色婷婷导航 单独🕔🇷🇺色婷婷导航1个toke🎃n “中国” ⛏→ 1👩个tok💝en（🗣高频组合） ⏳🏸“人工🔋智能” → 🚱🚤2个tok🇲🇴en（“🍔🏩人工”🇹🇷+“智能”） 单⛹🇬🇹个生僻字和长词🧀被拆解成多个😮🧸词元 🖼对于低频字🥢或专业术语🏩👨🔧，BPE算⏮法缺乏足⛸够的合并动力📐🇸🇪，只能拆❔🈲分为基础字符🇬🇶🌶甚至UTF-🇰🇿8字节：🔨🎌 “薹”（⁉生僻字）→ 可能🥂被拆为🥂2-3个toke🚕🇦🇹n “意大🦖🇻🇬利薄底萨拉🕵️♀️斯米肠🚡披萨” → 🇦🇹可能被拆为1💵🌊0+个tok🕥🥁en 这种差异直🎥接体现在计费🥠上🧱🇱🇷。
